On the Implicit Bias in Deep-Learning Algorithms
نویسندگان
چکیده
Examining the implicit bias in training neural networks using gradient-based methods.
منابع مشابه
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
We present experiments demonstrating that some other form of capacity control, different from network size, plays a central role in learning multi-layer feedforward networks. We argue, partially through analogy to matrix factorization, that this is an inductive bias that can help shed light on deep learning.
متن کاملImplicit Regularization in Deep Learning
In an attempt to better understand generalization in deep learning, we study several possible explanations. We show that implicit regularization induced by the optimization method is playing a key role in generalization and success of deep learning models. Motivated by this view, we study how different complexity measures can ensure generalization and explain how optimization algorithms can imp...
متن کاملthe role of vocabulary learning strategies on vocabulary retention and on language proficiency in iranian efl students
آموزش زبان دوم طی سالهای اخیر بدنبال روشهای بهتری برای تحقق بخشیدن به اهداف معلمین و دانش آموزان بوده است . در مورد معلمین این امر منجر به تحقیقاتی در مورد ساختار زبانی، محاوره ای و تعاملی گردیده است . در مورد دانش آموزان این امر به مطالعاتی درباره نگرش دانش آموزان نسبت به فراگیری در داخل کلاس و بیرون از آن و همچنین انواع مختلف روشهای پردازش ذهنی منجر شده است . هدف از این تحقیق یافتن روشهائی اس...
15 صفحه اولthe effect of learning strategies on the speaking ability of iranian students in the context of language institutes
the effect of learning strategies on the speaking ability of iranian students in the context of language institutes abstract language learning strategies are of the most important factors that help language learners to learn a foreign language and how they can deal with the four language skills specifically speaking skill effectively. acknowledging the great impact of learning strategies...
on the relationship between self- regulated learning strategies use and willingness to communicate in the context of writing
این تحقیق به منظور بررسی رابطه بین میزان استراتژیهای خود-تنظیم شده یادگیری و تمایل به ایجاد ارتباط دانشجویان زبان انگلیسی انجام شده است.علاوه بر این،روابط و کنش های موجود بین ریزسنجه های استراتژیهای خود-تنظیم شده یادگُیری ، مهارت نگارش و تمایل به برقراری ارتباط و همچنین تاٍثیرجنسیت دانشجویان زبان انگلیسی در استراتژیهای خود-تنظیم شده یادگیری و تمایل به برقراری ارتباط آنها مورد بررسی قرار گرفته شد.
15 صفحه اولذخیره در منابع من
با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید
ژورنال
عنوان ژورنال: Communications of The ACM
سال: 2023
ISSN: ['1557-7317', '0001-0782']
DOI: https://doi.org/10.1145/3571070